\section{Случай неполной информации.}
\setcounter{equation}{0} Предполагается, что $y_l\neq x_l$, то
есть измеряем с ошибкой.
\begin{equation}
x_{k+1}=A_kx_k+B_ku_k+w_k,~ k=0\ldots N-1
\end{equation}
\begin{equation}
y_k=C_kx_k+v_k, ~k=0\ldots N-1.
\end{equation}
Хотим найти допустимые стратегии $u_0\ldots u_{N-1}$, то есть
функции от $Y_{N-1}=\{y_0\ldots y_{N-1}\}, u_k:
\mathbb{R}^{mk}\rightarrow \mathbb{R}^p$, доставляющие минимум
среднему значению функции потерь
\begin{equation}
l=x_N^TQ_0x_N+\sum_{k=0}^{N-1}\{x_k^TQ_k^{(1)}x_k+u_k^TQ_k^{(2)}u_k\}.
\end{equation}
Фиксируем некоторое $i$. Рассмотрим среднее значение функции
потерь
\begin{displaymath}
E\sum_{k=0}^{i-1}\{x_k^TQ_k^{(1)}x_k+u_k^TQ_k^{(2)}u_k\}+
\end{displaymath}
\begin{displaymath}
+E\{x_N^TQ_0x_N+\sum_{k=i}^{N-1}\{x_k^TQ_k^{(1)}x_k+u_k^TQ_k^{(2)}u_k\}\}
\end{displaymath}
и проминимизируем средние потери по $u_i$, предположив, что
существует единственный минимум, применив лемму 2 и заметив, что
от $u_i\ldots u_{N-1}$ зависит только второй член суммы, а первый
не зависит.
\begin{displaymath}
\min_{u_i}E\{x_N^TQ_0x_N+\sum_{k=i}^{N-1}\{x_k^TQ_k^{(1)}x_k+u_k^TQ_k^{(2)}u_k\}\}=
\end{displaymath}
\begin{displaymath}
=E\min_{u_i}E\{x_N^TQ_0x_N+\sum_{k=i}^{N-1}\{x_k^TQ_k^{(1)}x_k+u_k^TQ_k^{(2)}u_k\}|Y_{i-1}\}.
\end{displaymath}
При этом минимум берется по всем $u_i$ - функциям от $Y_{i-1}$.
Обозначим
\begin{displaymath}
V(Y_{i-1},i)=\min_{u_i}E(x_N^TQ_0x_N+\sum_{k=i}^{N-1}\{x_k^TQ_k^{(1)}x_k+u_k^TQ_k^{(2)}u_k\}|Y_{i-1}).
\end{displaymath}
Повторив процедуру для $i+1\ldots N-1$ получим $\min_{u_i\ldots
u_{N-1}}E\{\ldots\}=EV(Y_{i-1},i)$.
\begin{displaymath}
V(Y_{i-1},i)=\min_{u_i}E(x_i^TQ_i^{(1)}x_i+u_i^TQ_i^{(2)}u_i+V(Y_i,i+1)|Y_{i-1})
\end{displaymath}
\begin{displaymath}
V(Y_{N-1},N)=E(x_N^TQ_0x_N|Y_{N-1}).
\end{displaymath}
Получили уравнение Беллмана для случая с неполной информацией. Это
уравнение довольно сложно, так как размерность $Y_i$ растет с
ростом $i$. Для упрощения этого уравнения воспользуемся
рекуррентной структурой рассматриваемой системы, как и при выводе
фильтра Калмана. Сначала найдем условные распределения $x_i$ и
$Y_i$ относительно $Y_{i-1}$. Заметим, что $Y_i^T=\{Y_{i-1}^T,
y_i^T\}$. Так как первая компонента совпадает с первой компонентой
$Y_{i-1}^T$, то достаточно найти распределение $y_i$ относительно
$Y_{i-1}$. У нас есть уравнение измерения (2):
\begin{displaymath}
y_i=c_ix_i+v_i.
\end{displaymath}
Следовательно, условное распределение $y_i$ относительно $Y_{i-1}$
однозначно определяется условным распределением $x_i$ относительно
$Y_{i-1}$, но это распределение гауссовское, значит, полностью
определяется $E(x_i|Y_{i-1})$ и $D(x_i|y_{i-1})$. При выводе
фильтра Калмана мы нашли $\hat{x}_{i|i-1}=E(x_i|Y_{i-1})$ и
получили, что $D(x_i|Y_{i-1})$ не зависит от $Y_{i-1}$, то есть в
рассматриваемом случае $\hat{x}_{i|i-1}$ полностью определяет
условное распределение $x_i$ относительно $Y_{i-1}$, то есть
является достаточной статистикой
\begin{displaymath}
p(x_i|Y_{i-1})=p(x_i|\hat{x}_{i|i-1},R_{i|i-1}).
\end{displaymath}
Принимая во внимание все вышесказанное, можно, введя функцию $W$,
рассмотреть уравнение Беллмана
\begin{displaymath}
W(\hat{x}_{i|i-1},R_{i|i-1},i)=\min_{u_i}E\{\hat{x}_{i|i-1}^TQ_i^{(1)}\hat{x}_{i|i-1}+trQ_i^{(1)}R_{i|i-1}+u_i^TQ_I^{(2)}u_i+
\end{displaymath}
\begin{displaymath}
+W(\hat{x}_{i+1|i},i+1)|\hat{x}_{i|i-1}\}.
\end{displaymath}
\begin{displaymath}
W(\hat{x}_{N|N-1},R_{N|N-1},N)=E(x_N^TQ_0x_N|\hat{x}_{N|N-1}).
\end{displaymath}

Причем $W(\hat{x}_{i|i-1},R_{i|i-1},i)=V(Y_{i-1},i)$, но аргумент
$W \hat{x}_{i|i-1}$ имеет постоянную размерность в отличии от
$Y_{i-1}$. Действительно,
\begin{displaymath}
\min_{u_i\ldots
u_{N-1}}E\{x_N^TQ_0x_N+\sum_{k=i}^N\{x_k^TQ_k^{(1)}x_k+u_k^TQ_k^{(2)}u_k\}\}=EV(Y_{i-1},i),
\end{displaymath}
где
\begin{displaymath}
V(Y_{i-1},i)=\min_{u_i}\{E(x_i^TQ_i^{(1)}x_i|Y_{i-1})+u_i^TQ_i^{(2)}u_i+E(V(Y_i,i+1)|Y_{i-1})\}=W(\hat{x}_{i|i-1},R_{i|i-1},i).
\end{displaymath}

\begin{displaymath} E(x_i^TQ_i^{(1)}x_i|Y_{i-1})=\{\textrm{лемма 3
и фильтр Калмана}\}=
\end{displaymath}
\begin{displaymath}
=E(x_i|Y_{i-1})^TQ_i^{(1)}E(x_i|Y_{i-1})+trQ_i^{(1)}D(x_i|Y_{i-1})=
\end{displaymath}
\begin{displaymath}
=\hat{x}_{i|i-1}^TQ_i^{(1)}x_{i|i-1}+trQ_i^{(1)}R_{i|i-1}.
\end{displaymath}

Зафиксируем $Y_{N-1}=Y$, тогда $\hat{x}_{N|N-1}=x$, и заметим, что
$R_{N|N-1}$ не зависит от измерений. Покажем, что задача имеет
решение, которое можно представить квадратичной формой
\begin{displaymath}
V(Y_{N-1},N)|_{Y_{N-1}=Y}=W(\hat{x}_{N|N-1},R_{N|N-1},N)|_{\hat{x}_{N|N-1}=x}=W(x,N)=x^TP_Nx+\ae_N,
\end{displaymath}
где $P_N=Q_0, \ae_N=trQ_0R_{N|N-1}$.\\
При $i=N$ это очевидно, так как
\begin{displaymath}
V(Y_{N-1},N)=E(x_N^TQ_0x_N|Y_{N-1})=W(\hat{x}_{N|N-1},R_{N|N-1},N)=
\end{displaymath}


\begin{displaymath}
=\{\textrm{лемма
3}\}=\hat{x}_{N|N-1}^TQ_0\hat{x}_{N|N-1}+trQ_0R_{N|N-1}.
\end{displaymath}
Предположим, что для $i+1$ справедливо нужное представление и
докажем его для $i$, то есть покажем
\begin{displaymath}
E(V(Y_i,i+1)|Y_i=Y)=E(W(x,i+1)|\hat{x}_{i-1|i}=x,R_{i+1|i})=x^TP_{i+1}x+\ae_{i+1}.
\end{displaymath}
Для этого нужно найти $E(V(Y_i,i+1)|Y_{i-1})$. При выводе фильтра
Калмана были получены рекуррентные формулы
\begin{displaymath}
\hat{x}_{i+1|i}=A_i\hat{x}_{i|i-1}+B_iu_i+K_i(y_i-C_i\hat{x}_{i|i-1}),
\end{displaymath}
где $K_i=A_iR_{i|i-1}C_i^T(l_iR_{i|i-1}C_i^T+N_i)^{-1}$.
Воспользуемся уравнением измерения $y_i=C_ix_i+v_i$, откуда
\begin{displaymath}
y_i-C_i\hat{x}_{i|i-1}=C_i(x_i-\hat{x}_{i|i-1})+v_i,
\end{displaymath}
то есть $y_i-C_i\hat{x}_{i|i-1}$ относительно $Y_{i-1}$
распределено нормально с нулевым средним
\begin{displaymath}
E(y_i-C_i\hat{x}_{i|i-1}|Y_{i-1})=C_i\{E(x_i-\hat{x}_{i|i-1}|Y_{i-1})=0\}+\{Ev_i=0\},
\end{displaymath}
и дисперсия
\begin{displaymath}
E((y_i-C_i\hat{x}_{i|i-1})(y_i-C_i\hat{x}_{i|i-1})^T|Y_{i-1})=
\end{displaymath}
\begin{displaymath}
=C_iE((x_i-\hat{x}_{i|i-1})(x_i-\hat{x}_{i|i-1})^T|Y_{i-1})C_i^T+N_i=
\end{displaymath}
\begin{displaymath}
=C_iR_{i|i-1}C_i^T+N_i,
\end{displaymath}
откуда следует, что
\begin{displaymath}
E(x_{i+1|i}|Y_{i-1})=A_i\hat{x}_{i|i-1}+B_iu_i
\end{displaymath}
и
\begin{displaymath}
cov(x_{i+1|i}|Y_{i-1})=K_i(C_iR_{i|i-1}C_i^T+N_i)K_i^T.
\end{displaymath}
В результате получим
\begin{displaymath}
E(V(Y_i,i+1)|Y_{i-1})=EW(\hat{x}_{i+1|i},R_{i+1|i},i+1|Y_{i-1})=
\end{displaymath}
\begin{displaymath}
=(A_i\hat{x}_{i|i-1}+B_iu_i)^TR_{i+1}(A_i\hat{x}_{i|i-1}+B_iu_i)+
\end{displaymath}
\begin{displaymath}
+trP_{i+1}K_i(C_iR_{i|i-1}C_i^T+N_i)K_i^T+\ae_{i+1}.
\end{displaymath}
Окончательно будем иметь
\begin{displaymath}
V(Y_{i-1},i)=W(\hat{x}_{i|i-1},R_{i|i-1},i)=
\end{displaymath}
\begin{displaymath}
=\min_{u_i}\{\hat{x}_{i|i-1}^TQ_i^{(1)}\hat{x}_{i|i-1}+trQ_i^{(1)}R_{i|i-1}+u_i^TQ_i^{(2)}u_i+
\end{displaymath}
\begin{displaymath}
+(A_i\hat{x}_{i|i-1}+B_iu_i)^TP_{i+1}(A_i\hat{x}_{i|i-1}+B_iu_i)+
\end{displaymath}
\begin{displaymath}
+trP_{i+1}K_i(C_iR_{i|i-1}C_i^T+N_i)K_i^T+\ae_{i+1}\}=
\end{displaymath}
\begin{displaymath}
=\{\textrm{аналогично случаю с полной информацией }
\end{displaymath}
\begin{displaymath}
\textrm{соберем и дополним до полного квадрата}\}=
\end{displaymath}
\begin{displaymath}
=\min_{u_i}\{\hat{x_{i|i-1}^T}(Q_i^{(1)}+A_i^TP_{i+1}A_i-L_i^T(Q_i^{(2)}+B_i^TP_{i+1}B_i)L_i)\hat{x}_{i|i-1}+
\end{displaymath}
\begin{displaymath}
+(u_i+L_i\hat{x}_{i|i-1})^T(Q_i^{(2)}+B_i^TP_{i+1}B_i)(u_i+L_i\hat{x}_{i|i-1})+
\end{displaymath}
\begin{displaymath}
+trQ_i^{(1)}R_{i|i-1}+trP_{i+1}K_i(C_iR_{i|i-1}C_i^T+N_i)K_i^T+\ae_{i+1}\},
\end{displaymath}
\begin{displaymath}
L_i=(Q_i^{(2)}+B_i^TR_{i+1}B_i)^{-1}B_i^TP_{i+1}A_i.
\end{displaymath}
Минимум достигается при $u_i=-L_i\hat{x}_{i|i-1}$. \\
Получаем искомое представление, на самом деле $x=\hat{x}_{i|i-1}$,
то есть
\begin{displaymath}
V(Y_{i-1},i)=x^TP_ix+\ae_i,
\end{displaymath}
где $V(Y_{i-1},i)$ есть функция от $\hat{x}_{i|i-1}$, чья
размерность $\mathbb{R}^n$ и не меняется.
\begin{displaymath}
P_i=Q_i^{(1)}+A_i^TP_{i+1}A_i-L_i^T(Q_i^{(2)}+B_i^TP_{i+1}B_i)L_i,
\end{displaymath}
\begin{displaymath}
\ae_i=trQ_i^{(1)}R_{i|i-1}+trP_{i+1}K_i(C_iR_{i|i-1}C_i^T+N_i)K_i^T+\ae_{i+1}.
\end{displaymath}
Это рекуррентные уравнения при начальных условиях $P_N=Q_0,
\ae_N=trQ_0R_{N|N-1}$. \\
Напомним, что для $R_{i+1|i}$ справедливо представление
\begin{displaymath}
R_{i+1|i}=A_i(R_{i|i-1}-R_{i|i-1}C_i^T(C_iR_{i|i-1}C_i^T+N_i)^{-1}C_iR_{i|i-1})A_i^T+M_i,~
R_{0|-1}=S_0.
\end{displaymath}
Найдем минимальное значение функции потерь:
\begin{displaymath}
l_{min}=\min_{u_0\ldots
u_{N-1}}E\{x_N^TQ_0X_N+\sum_{k=0}^{N-1}\{x_k^TQ_k^{(1)}x_k+u_k^TQ_k^{(2)}u_k\}\}=
\end{displaymath}
\begin{displaymath}
=EV(Y_{-1},0)=E\{\hat{x}_{0|-1}^TR_0\hat{x}_{0|-1}+\ae_0\}=
\end{displaymath}
\begin{displaymath}
=m^TR_0m+\sum_{k=0}^{N-1}trQ_k^{(1)}R_{k|k-1}+\sum_{k=0}^{N-1}trP_{k+1}K_k(C_kR_{k|k-1}C_k^T+N_k)K_k^T+trQ_0R_{N|N-1}.
\end{displaymath}
Преобразуем это выражение. Для этого рассмотрим уравнения для
$R_{i+1|i}$ и $P_i$. Уравнение для $R_{i+1|i}$, используя
обозначение
\begin{displaymath}
K_i=A_iR_{i|i-1}C_i^T(C_iR_{i|i-1}C_i^T+N_i)^{-1},
\end{displaymath}
можно переписать в виде
\begin{displaymath}
R_{i+1|i}=A_iR_{i|i-1}A_i^T+M_i-K_i(C_iR_{i|i-1}C_i^T+N_i)K_i^T,
\end{displaymath}
\begin{displaymath}
P_i=A_i^TP_{i+1}A_i+Q_i^{(1)}-L_i(Q_i^{(2)}+B_i^TP_{i+1}B_i)L_i.
\end{displaymath}
Умножая слева первое уравнение на $P_{i+1}$, а второе на
$R_{i|i-1}$, и вычисляя след разности $(tr(A-B)=trA-trB)$, имеем:
\begin{displaymath}
trP_{i+1}R_{i+1|i}-trP_iR_{i|i-1}=trP_{i+1}M_i-trP_{i+1}K_i(C_iR_{i|i-1}C_i^T+N_i)K_i^T-
\end{displaymath}
\begin{displaymath}
-trR_{i|i-1}Q_i^{(1)}+trR_{i|i-1}L_i^T(Q_i^{(2)}+B_i^TP_{i+1}B_i)L_i.
\end{displaymath}
Суммируя по $i$ от 0 до $N-1$, получим:
\begin{displaymath}
trP_NR_{N|N-1}-trP_0R_{0|-1}=-\sum_{i=0}^{N-1}\{trR_{i|i-1}Q_i^{(1)}+trP_{i+1}K_i(C_iR_{i|i-1}C_i^T+N_i)K_i^T\}+
\end{displaymath}
\begin{displaymath}
+\sum_{i=0}^{N-1}\{trP_{i+1}M_i+trR_{i|i-1}L_i^T(Q_i^{(2)}+B_i^TP_{i+1}B_i)L_i\},
\end{displaymath}
откуда
\begin{displaymath}
l_{min}=m^TP_0m+trP_0S_0+\sum_{i=0}^{N-1}\{trP_{i+1}M_i+tr(R_{i|i-1})L_i^TB_i^TP_{i+1}A_i\}.
\end{displaymath}
Доказательство того, что минимум существует, непосредственно
вытекает из того факта, что все рассмотренные функции квадратичны.
Результаты сформулированы в теореме разделения.
\begin{theorem}
Решение задачи оптимального управления для случая с неполной
информацией дается стратегией управления
\begin{equation}
u_i=L_i\hat{x}_{i|i-1},
\end{equation}
где
\begin{displaymath}
L_i=(Q_i^{(1)}+B_i^TP_{i+1}B_i)^{-1}B_i^TP_{i+1}A_i,
\end{displaymath}
\begin{displaymath}
P_i=Q_i^{(1)}+A_i^TP_{i+1}A_i-L_i^T(Q_i^{(2)}+B_i^TP_{i+1}B_i)L_i,
\end{displaymath}
\begin{displaymath}
P_N=Q_0,
\end{displaymath}
для $x_{i|i-1}$ справедливо рекуррентное представление
\begin{equation}
\hat{x}_{i+1|i}=A_i\hat{x}_{i|i-1}+B_iu_i+K_i(y_i-C_i\hat{x}_{i|i-1}),
\end{equation}
где
\begin{displaymath}
K_i=A_iR_{i|i-1}C_i^T(C_iR_{i|i-1}C_i^T+N_i)^{-1},
\end{displaymath}
\begin{displaymath}
\hat{x}_{0|-1}=m,
\end{displaymath}
\begin{displaymath}
R_{i+1|i}=A_i(R_{i|i-1}-R_{i|i-1}C_i^T(C_iR_{i|i-1}C_i^T+N_i)^{-1}C_iR_{i|i-1})A_i^T+M_i,
\end{displaymath}
\begin{displaymath}
R_{0|-1}=S_0,
\end{displaymath}
а минимальные потери вычисляются по формуле
\begin{displaymath}
l_{min}=\min
El=m^TP_0m+trP_0S_0+\sum_{i=0}^{N-1}\{trP_{i+1}M_i+tr(R_{i|i-1})L_i^TB_I^TP_{i+1}A_i\}.
\end{displaymath}
\end{theorem}

место для схемы
\newpage
\emph{Принцип разделения.} Таким образом построение оптимальной
стратегии можно разделить на два этапа. Сначала вычислить
наилучшую в среднеквадратичном смысле оценку при помощи фильтра
Калмана по наблюдаемым данным, а затем, применив обратную связь,
посчитать оптимальные управления $u_i$. Заметим, что матрица
обратной связи $L_i$ не зависит от характеристик помех, то есть
она такая же, как в случае нулевых помех. Такую же матрицу можно
получить, решая \emph{детерминированую} задачу оптимального
управления с системой
\begin{displaymath}
x_{i+1}=A_ix_i+B_iu_i
\end{displaymath}
и критерием
\begin{displaymath}
x^T_NQ_0x_N+\sum_{i=0}^{N-1}\{x_i^TQ_i^{(1)}x_i+u_i^TQ_i^{(2)}u_i\}.
\end{displaymath}


{\bf Свойства замкнутой системы.}\\
Теорема 2 дает мощный метод синтеза управлений в линейных
системах. Рассмотрим систему (1),(2), управление которой
осуществляется по закону (4),(5). То есть замкнутую систему,
описываемую уравнениями
\begin{displaymath}
x_{i+1}=A_ix_i+B_iu_i+w_i,
\end{displaymath}
\begin{displaymath}
y_i=C_ix_i+v_i,
\end{displaymath}
\begin{displaymath}
u_i=-L\hat{x}_{i|i-1},
\end{displaymath}
\begin{displaymath}
\hat{x}_{i+1|i}=A_i\hat{x}_{i|i-1}+B_iu_i+K_i(y_i-C_i\hat{x}_{i|i-1}).
\end{displaymath}
Подставим третье уравнение в первое, а также третье и второе в
четвертое. Имеем
\begin{displaymath}
x_{i+1}=A_ix_i-B_iL_i\hat{x}_{i|i-1}+w_i,
\end{displaymath}
\begin{displaymath}
\hat{x}_{i+1|i}=A_i\hat{x}_{i|i-1}-B_iL_i\hat{x}_{i|i-1}+K_iC_i(x_i-\hat{x}_{i|i-1})+K_iv_i.
\end{displaymath}
Такая система имеет порядок $2n$, состояние в ней определяется
вектором $(x_i, \hat{x}_{i|i-1})^T$. Перейдем к вектору $(x_i,
\tilde{x}_{i|i-1})^T$, где
$\tilde{x}_{i|i-1}=x_i-\hat{x}_{i|i-1}$.
\begin{displaymath}
x_{i+1}=(A_i-B_iL_i)x_i+B_iL_i\tilde{x}_{i|i-1}+w_i,
\end{displaymath}
\begin{displaymath}
\tilde{x}_{i+1|i}=(A_i-K_iC_i)\tilde{x}_{i|i-1}+w_i-K_iv_i.
\end{displaymath}
Динамика системы определяется матрицами $(A_i-B_iL_i)$ и
$(A_i-K_iC_i)$, то есть динамикой соотвествующей детерминированной
системы и динамикой фильтра. Если матрицы постоянны, то
собственные значения оператора системы совпадают с собственными
значениями матриц $(A-BL)$ и $(A-KC)$.\\
{\bf Задача.} Рассмотреть систему $x\in\mathbb{R}$
\begin{displaymath}
x_{k+1}=x_k+u_k+w_k,
\end{displaymath}
\begin{displaymath}
y_k=x_k+v_k,
\end{displaymath}
где $w_k, v_k$ - гауссовские с нулевым средним и дисперсиями
$Ew_k^2=d^2, Ev_k^2=n^2, x_0\sim N(m,\sigma)$. Функция потерь
имеет вид
\begin{displaymath}
l=\sum_{k=0}^{N-1}\{x_k^2+qu_k^2\}+x_N^2.
\end{displaymath}
Определить стратегию управления, минимизирующую средние потери,
если\\
1) $m^2=n^2=0$ - случай полной информации, помехи отсутствуют,
решить по второму подходу.\\
2) $m^2\neq0, n^2=0$. \\
3) $m^2\neq0, n^2\neq0$ (здесь $u_k$ - функция $y_1\ldots y_k$).
\section{Другой подход к решению задачи.}
\setcounter{equation}{0}
 Докажем тождество из вариационного исчисления. Пусть есть уравнение динамики
\begin{equation}
x_{k+1}=A_kx_k+B_ku_k+v_k.
\end{equation}
Справедлива лемма
\begin{lemma}
Пусть разностное уравнение
\begin{equation}
P_k=A_k^TP_{k+1}A_k+Q_k^{(1)}-A_k^TP_{k+1}B_k(Q_k^{(2)}B_k^TP_{k+1}B_k)^{-1}B_k^TP_{k+1}A_k
\end{equation}
с начальным условием $P_N=Q_0$ имеет решение, которое является
неотрицательно определенной матрицей при $k=0\ldots N$. Пусть
матрица $L_k$ имеет вид
\begin{displaymath}
L_k=(Q_k^{(2)}+B_k^TP_{k+1}B_k)^{-1}B_k^TP_{k+1}A_k.
\end{displaymath}
Тогда
\begin{displaymath}
x_N^TQ_0x_N+\sum_{k=0}^{N-1}\{x_k^TQ_k^{(1)}x_k+u_k^TQ_k^{(2)}u_k\}=
\end{displaymath}
\begin{equation}
=x_0^TP_0x_0+\sum_{k=0}^{N-1}(u_k+L_kx_k)^T(B_k^TP_{k+1}B_k+Q_k^{(2)})(u_k+L_kx_k)+
\end{equation}
\begin{displaymath}
+\sum_{k=0}^{N-1}\{w_k^TP_{k+1}(A_kx_k+B_ku_k)+(A_kx_k+B_ku_k)^TP_{k+1}w_k+w_k^TP_{k+1}w_k\}.
\end{displaymath}
\end{lemma}
Доказательство.\\
Рассмотрим тождество
\begin{displaymath}
x_N^TQ_0x_N=x_N^TP_Nx_N=x_0^TP_0x_0+\sum_{k=0}^{N-1}(x_{k+1}^TP_{k+1}x_{k+1}-x_k^TP_kx_k).
\end{displaymath}
Подставим $x_{k+1}$ и $P_k$ из условий (1) и (2), при этом в
нужный момент добавим и вычтем $U_k^TQ_k^{(2)}u_k$, получим
искомое равенство. Лемма доказана.\\
Из леммы 4 вытекают достаточные условия оптимальности. \\
{\bf Детерминированный случай.}\\
$x_0=m, w_k\equiv0 ~~\forall k$. Тогда из леммы 4 имеем
\begin{equation}
l=x_N^TQ_0x_N+\sum_{k=0}^{N-1}\{x_k^TQ_k^{(1)}x_k+u_k^TQ_k^{(2)}u_k\}=
\end{equation}
\begin{displaymath}
=x_o^TP_0x_0+\sum_{k=0}^{N-1}(u_k+L_kx_k)^T(B_k^TP_{k+1}B_k+Q_k^{(2)})(u_k+L_kx_k).
\end{displaymath}
Так как $P-k$ - неотрицательно определена и первое слагаемое не
зависит от $u_k$, то $l\geq x_0^TP_0x_0$ и равенство достигается
при $u_k=-L_kx_k$,  \underline{$\min l=m^TP_0m$}.\\
{\bf Случай с полной информацией при нулевых помехах.}\\
$x_0$ - гауссовский вектор: $Ex_0=m, Dx_0=S_0, w_k=0~ \forall k$,
то есть
\begin{displaymath}
x_{k+1}=A_kx_k+B_ku_k.
\end{displaymath}
\emph{Достаточное условие.} Если критерий определяется функцией
(4), а допустимые стратегии есть функции от $x_k$, то, если
уравнение (2) с начальным условием $P_N+Q_0$ имеет неотрицательно
определенное решение, так что что сумма
$(Q_k^{(2)}+B_k^TP_{k+1}B_k)$ неотрицательно определена $\forall
k$, существует единственная стратегия, минимизирующая средние
потери $u_k=-L_kx_x$. Минимальное значение средних потерь
определяется по формуле
\begin{displaymath}
\min El=E\min l=E(x_0^TP_0x_0)=\{\textrm{лемма
3}\}=\underline{m^TP_0m+trP_0S_0}.
\end{displaymath}
{\bf Случай с полной информацией при ненулевых помехах.}\\
$x_0$ - гауссовский: $Ex_o=m, Dx_0=S_0, w_k\neq0, Ew_k=0,
Dw_k=M_k,$
\begin{displaymath}
x_{k+1}=A_kx_k+B_ku_k+w_k.
\end{displaymath}
Допустимые стратегии - функции от $x_k$, тогда возьмем $E$ от (3)
и учтем, что $Ew_k=0, w_k$ не зависит от $x_k$ и $u_k$.
\begin{displaymath}
El=E(x_0^TP_0x_0+\sum_{k=0}^{N-1}w_k^TP_{k+1}w_k+\sum_{k=0}^{N-1}(u_k+L_kx_k)^T(B_k^TP_{k+1}B_k+Q_k^{(2)})(u_k+L_kx_k)),
\end{displaymath}
\begin{displaymath}
\min El\geq E(x_0^TP_0x_0)+\sum_{k=0}^{N-1}E(w_k^TP_{k+1}w_k),
\end{displaymath}
\begin{displaymath}
E(x_0^TP_0x_0)=m^TP_0m+trP_0S_0,
\end{displaymath}
\begin{displaymath}
E(w_k^TP_{k+1}w_k)=trP_{k+1}M_k,
\end{displaymath}
равенство достигается при $u_k=-L_kx_k$:
\begin{displaymath}
\min El=[m^tP_0m+trP_0S_0+\sum_{k=0}^{N-1}trP_{k+1}M_k],
\end{displaymath}
где последнее слагаемое обусловлено помехой $w_k$, так как в
случае нулевой помехи оно отсутствует. \\
{\bf Случай неполной информации о состоянии.}\\
Теперь пусть допустимые стратегии $u_k$ - функции от $Y_{k-1}$.
Тогда стратегия $u_k=-L_kx_k$ не является допустимой и,
следовательно,
\begin{displaymath}
E\sum_{k=0}^{N-1}(u_k+L_kx_k)^T(B_k^TP_{k+1}B_k+Q_k^{(2)})(u_k+L_kx_k)>0.
\end{displaymath}
Обозначим
\begin{displaymath}
\hat{x}_{k|k-1}=E(x_k|Y_{k-1}),
\end{displaymath}
\begin{displaymath}
R_{k|k-1}=D(x_k|Y_{k-1}).
\end{displaymath}
Из леммы 2 следует (ее условия выполнены, так как функции
квадратичны), что
\begin{displaymath}
\min_{u_k}E(u_k+L_kx_k)^T(B_k^TP_{k+1}B_k+Q_k^{(2)})(u_k+L_kx_k)=E\min_{u_k}E(\cdot|Y_{k-1}),
\end{displaymath}
где минимум берется по всем допустимым стратегиям $u_k$ - функциям
от $Y_{k-1}$. По лемме 3
\begin{displaymath}
E((u_k+L_kx_k)^T(B_k^TP_{k+1}B_k+Q_k^{(2)})(u_k+L_kx_k)|Y_{k-1})=
\end{displaymath}
\begin{displaymath}
=trR_{k|k-1}L_k^T(B_k^TP_{k+1}B_k+Q_k^{(2)})L_k+(u_k+L_k\hat{x}_{k|k-1})(B_k^TP_{k+1}B_k+Q_k^{(2)})(u_k+L_k\hat{x}_{k|k-1}).
\end{displaymath}
Первое слагаемое не зависит от $u_k$, минимальное значение
достигается при
\begin{equation}
u_k=-L_k\hat{x}_{k|k-1},
\end{equation}
минимальные потери вычисляются по формуле
\begin{displaymath}
\min El=m^TP_0m+trP_0S_0+\sum_{k=0}^{N-1}trP_{k+1}M_k+
\end{displaymath}
\begin{displaymath}
+\sum_{k=0}^{N-1}trR_{k|k-1}L_k^T(B_k^TP_{k+1}B_k+Q_k^{(2)})L_k.
\end{displaymath}
Последнее слагаемое обусловлено ограничением на допустимые
управления. Формула характеризует дополнительный риск при неточном
знании состояния.
\begin{theorem}
Пусть система описывается стохастическими уравнениями (1) и
(2).Допустимые стратегии управления $u_k$ - функции от $Y_{k-1}$.
Уравнение (2) с начальным условием $P_N+Q_0$ имеет неотрицательно
определенное решение $P_k$, в котором матрица
$(B_k^TP_{k+1}B_k+Q_k^{(2)})$ положительно определена $\forall k$.
Тогда существует единственная стратегия управления (5),
минимизирующая средние потери.
\end{theorem}
{\bf Замечание.} Мы не использовали формулы для условного среднего
в явном виде. Способ подсчета для нас не важен при доказательстве.
